Visual SLAM for Measurement and Augmented Reality in Laparoscopic Surgery

In spite of the great advances in laparoscopic surgery, this type of surgery still shows some difficulties during its realization, mainly caused by its complex maneuvers and, above all, by the loss of the depth perception. Unlike classical open surgery --laparotomy-- where surgeons have direct contact with organs and a complete 3D perception, laparoscopy is carried out by means of specialized instruments, and a monocular camera (laparoscope) in which the 3D scene is projected into a 2D plane --image. The main goal of this thesis is to face with this loss of depth perception by making use of Simultaneous Localization and Mapping (SLAM) algorithms developed in the fields of robotics and computer vision during the last years. These algorithms allow to localize, in real time (25 $\thicksim$ 30 frames per second), a camera that moves freely inside an unknown rigid environment while, at the same time, they build a map of this environment by exploiting images gathered by that camera. These algorithms have been extensively validated both in man-made environments (buildings, rooms, ...) and in outdoor environments, showing robustness to occlusions, sudden camera motions, or clutter. This thesis tries to extend the use of these algorithms to laparoscopic surgery. Due to the intrinsic nature of internal body images (they suffer from deformations, specularities, variable illumination conditions, limited movements, ...), applying this type of algorithms to laparoscopy supposes a real challenge. Knowing the camera (laparoscope) location with respect to the scene (abdominal cavity) and the 3D map of that scene opens new interesting possibilities inside the surgical field. This knowledge enables to do augmented reality annotations directly on the laparoscopic images (e.g. alignment of preoperative 3D CT models); intracavity 3D distance measurements; or photorealistic 3D reconstructions of the abdominal cavity recovering synthetically the lost depth. These new facilities provide security and rapidity to surgical procedures without disturbing the classical procedure workflow. Hence, these tools are available inside the surgeon's armory, being the surgeon who decides to use them or not. Additionally, knowledge of the camera location with respect to the patient's abdominal cavity is fundamental for future development of robots that can operate automatically since, knowing this location, the robot will be able to localize other tools controlled by itself with respect to the patient. In detail, the contributions of this thesis are: - To demonstrate the feasibility of applying SLAM algorithms to laparoscopy showing experimentally that using robust data association is a must. - To robustify one of these algorithms, in particular the monocular EKF-SLAM algorithm, by adapting a relocalization system and improving data association with a robust matching algorithm. - To develop of a robust matching method (1-Point RANSAC algorithm). - To develop a new surgical procedure to ease the use of visual SLAM in laparoscopy. - To make an extensive validation of the robust EKF-SLAM (EKF + relocalization + 1-Point RANSAC) obtaining millimetric errors and working in real time both on simulation and real human surgeries. The selected surgery has been the ventral hernia repair. - To demonstrate the potential of these algorithms in laparoscopy: they recover synthetically the depth of the operative field which is lost by using monocular laparoscopes, enable the insertion of augmented reality annotations, and allow to perform distance measurements using only a laparoscopic tool (to define the real scale) and laparoscopic images. - To make a clinical validation showing that these algorithms allow to shorten surgical times of operations and provide more security to the surgical procedures

Monocular slam for deformable scenarios.

El problema de localizar la posición de un sensor en un mapa incierto que se estima simultáneamente se conoce como Localización y Mapeo Simultáneo --SLAM--. Es un problema desafiante comparable al paradigma del huevo y la gallina. Para ubicar el sensor necesitamos conocer el mapa, pero para construir el mapa, necesitamos la posición del sensor. Cuando se utiliza un sensor visual, por ejemplo, una cámara, se denomina Visual SLAM o VSLAM. Los sensores visuales para SLAM se dividen entre los que proporcionan información de profundidad (por ejemplo, cámaras RGB-D o equipos estéreo) y los que no (por ejemplo, cámaras monoculares o cámaras de eventos). En esta tesis hemos centrado nuestra investigación en SLAM con cámaras monoculares.Debido a la falta de percepción de profundidad, el SLAM monocular es intrínsecamente más duro en comparación con el SLAM con sensores de profundidad. Los trabajos estado del arte en VSLAM monocular han asumido normalmente que la escena permanece rígida durante toda la secuencia, lo que es una suposición factible para entornos industriales y urbanos. El supuesto de rigidez aporta las restricciones suficientes al problema y permite reconstruir un mapa fiable tras procesar varias imágenes. En los últimos años, el interés por el SLAM ha llegado a las áreas médicas donde los algoritmos SLAM podrían ayudar a orientar al cirujano o localizar la posición de un robot. Sin embargo, a diferencia de los escenarios industriales o urbanos, en secuencias dentro del cuerpo, todo puede deformarse eventualmente y la suposición de rigidez acaba siendo inválida en la práctica, y por extensión, también los algoritmos de SLAM monoculares. Por lo tanto, nuestro objetivo es ampliar los límites de los algoritmos de SLAM y concebir el primer sistema SLAM monocular capaz de hacer frente a la deformación de la escena.Los sistemas de SLAM actuales calculan la posición de la cámara y la estructura del mapa en dos subprocesos concurrentes: la localización y el mapeo. La localización se encarga de procesar cada imagen para ubicar el sensor de forma continua, en cambio el mapeo se encarga de construir el mapa de la escena. Nosotros hemos adoptado esta estructura y concebimos tanto la localización deformable como el mapeo deformable ahora capaces de recuperar la escena incluso con deformación.Nuestra primera contribución es la localización deformable. La localización deformable utiliza la estructura del mapa para recuperar la pose de la cámara con una única imagen. Simultáneamente, a medida que el mapa se deforma durante la secuencia, también recupera la deformación del mapa para cada fotograma. Hemos propuesto dos familias de localización deformable. En el primer algoritmo de localización deformable, asumimos que todos los puntos están embebidos en una superficie denominada plantilla. Podemos recuperar la deformación de la superficie gracias a un modelo de deformación global que permite estimar la deformación más probable del objeto. Con nuestro segundo algoritmo de localización deformable, demostramos que es posible recuperar la deformación del mapa sin un modelo de deformación global, representando el mapa como surfels individuales. Nuestros resultados experimentales mostraron que, recuperando la deformación del mapa, ambos métodos superan tanto en robustez como en precisión a los métodos rígidos.Nuestra segunda contribución es la concepción del mapeo deformable. Es el back-end del algoritmo SLAM y procesa un lote de imágenes para recuperar la estructura del mapa para todas las imágenes y hacer crecer el mapa ensamblando las observaciones parciales del mismo. Tanto la localización deformable como el mapeo que se ejecutan en paralelo y juntos ensamblan el primer SLAM monocular deformable: \emph{DefSLAM}. Una evaluación ampliada de nuestro método demostró, tanto en secuencias controladas por laboratorio como en secuencias médicas, que nuestro método procesa con éxito secuencias en las que falla el sistema monocular SLAM actual.Nuestra tercera contribución son dos métodos para explotar la información fotométrica en SLAM monocular deformable. Por un lado, SD-DefSLAM que aprovecha el emparejamiento semi-directo para obtener un emparejamiento mucho más fiable de los puntos del mapa en las nuevas imágenes, como consecuencia, se demostró que es más robusto y estable en secuencias médicas. Por otro lado, proponemos un método de Localización Deformable Directa y Dispersa en el que usamos un error fotométrico directo para rastrear la deformación de un mapa modelado como un conjunto de surfels 3D desconectados. Podemos recuperar la deformación de múltiples superficies desconectadas, deformaciones no isométricas o superficies con una topología cambiante.<br /

Dibujo de líneas tridimensional sobre nubes de puntos mediante estéreo cromático y sombreado

1 PDF document (8 pp., English).-- Contributed to: VSMM'08: 14th International Conference on Virtual Systems and Multimedia (Limassol, Cyprus, Oct 20-25, 2008)[EN] Terrestrial laser scanners (TLS) have become a common tool in geometric documentation of heritage. As output, they can produce point clouds along with thematic information such as reflectance or photographic texture. Some of their drawbacks are that the products which have been directly obtained from raw point clouds imply massive data handling, besides, standard products demanded by organizations and technicians such as wireframe models and line drawings are not readily computed from them; therefore, human supervised point cloud processing is still mandatory. Our contribution is to enriching the point cloud thematic component using shading and Chromadepth® information, which allows to enhance the point cloud surface details and to improve the identification and drawing of the lines defining the elements over the point cloud. In order to illustrate the utility of these thematic layers, we describe, step by step, a simple procedure to draw 3D lines from point clouds.[ES] Los sistemas de escaneado laser se han convertido en una herramienta habitual en la documentación geométrica del patrimonio. Como uno de sus resultados, se obtienen nubes de puntos que incluyen información adicional como la reflectancia o el color procedente de una textura fotográfica. Sin embargo, su manejo implica la gestión de ficheros brutos de gran tamaño y no es sencillo obtener algunos de los productos que se demandan por los técnicos habituados al trabajo patrimonial como son los dibujos de líneas. Nuestra contribución consiste en enriquecer la componente temática mediante el sombreado y el estéreo cromático, resaltando los detalles de la superficie documentada y mejorando la identificación y dibujo de las líneas. Con el fin de ilustrar la utilización de capas temáticas para el dibujo 3D, se describe, paso a paso, un procedimiento simple para el dibujo tridimensional a partir de nubes de puntos

Towards the in vivo mechanical characterization of abdominal wall in animal model: application to hernia repair

El trabajo presentado en esta tesis se centra en el diseño e implementación de una metodología que permita caracterizar in vivo el comportamiento mecánico pasivo de la pared abdominal. Esta metodología permitiría a los cirujanos disponer de información mecánica relevante sobre un paciente especí co, lo que podría contribuir a mejorar el tratamiento quirúrgico de hernias mediante malla protésica. El tratamiento quirúrgico de hernias consiste en cerrar la debilidad creada en el músculo, ya sea directamente con puntos de sutura o mediante la implantación de una malla protésica. En el caso de la malla, ésta es la responsable de absorber las tensiones a las que el músculo se ve sometido durante el tiempo en el que se produce la regeneración de tejido. Para reducir el riego de aparición de dolor postoperatorio, rotura o rasgadura de tejido o incluso una recidiva, la malla debe mimetizar la respuesta mecánica de la zona de la pared donde vaya a ser colocada, que a su vez puede variar de un paciente a otro en función de su edad, género, índice de masa corporal u otras características físicas. Un mejor conocimiento de las propiedades mecánicas del abdomen en paciente especí co ayudaría al cirujano a determinar qué malla protésica se puede considerar la ideal, mecánicamente hablando. Por todo ello, el trabajo que aquí se presenta plantea una aproximación in vivo para caracterizar la pared abdominal sobre un modelo animal y su posterior implementación en casos de patologías herniarias. En un primer paso, se ha realizado un estudio biomecánico del cierre en línea alba, que ayudase a entender los aspectos mecánicos y biológicos que tienen lugar durante la curación de la herida a corto y largo plazo. A continuación, se han llevado a cabo ensayos mecánicos de in ado sobre la pared, que combinados con el uso de cámaras y técnicas de adquisición de imagen han permitido extraer la respuesta del tejido de una manera no invasiva. Este estudio experimental, se ha llevado a cabo sobre especímenes sanos y otro herniados y reparados con distintas mallas quirúrgicas, lo que ha permitido extrapolar el efecto in vivo que provocan estas mallas. A partir de los datos experimentales también se ha desarrollado un análisis numérico que permitiese caracterizar la respuesta mecánica especí ca de cada espécimen. A este efecto, dicha caracterización se ha tratado como un problema inverso y resuelto primeramente mediante un análisis de super cies de respuesta y después con un algoritmo propio aplicado a modelos hiperelásticos. Finalmente, también se ha reconstruido un modelo de elementos nitos de la cavidad abdominal que permite simular el efecto producido por distintas mallas protésicas así como su alteración respecto al tejido sano

Estimación de Escala Absoluta para Structure from Motion en Endoscopio con Fuente de Luz Cercana.

Actualmente es posible reconstruir la geometría de un escenario observado por una cámara monocular a partir de varias imágenes tomadas en distintas posiciones. No obstante, la escala de la escena no es observable y es necesario emplear información adicional a la geometría para recuperar el tamaño real de la escena. Se considera el caso de una cámara monocular móvil que incorpora varias fuentes de luz, cuya posición relativa a la cámara es fija, conocida y denominada base (b). En esta situación, es posible recuperar la escala y el albedo de la escena a partir de una reconstrucción geométrica no escalada. Además, el escenario propuesto se asemeja a un entorno de endoscopia, en el que varias fuentes de luz iluminan una escena cuya iluminación es completamente artificial. Este trabajo se desarrolla dentro del proyecto europeo EndoMapper, que busca realizar una reconstrucción 3D del interior del cuerpo humano a partir de secuencias de endoscopia, donde el tamaño real de la reconstrucción es ciertamente importante. Se expone en este documento una metodología de estimación de escala y albedo a partir de una reconstrucción geométrica hasta un factor de escala. El método se basa en un modelo fotométrico simple con cámara fotométricamente calibrada y fuentes de luz puntuales uniformes, en el que la escala se estima mediante una optimización no lineal por mínimos cuadrados. La precisión de este método, así como su comportamiento, se analizan mediante una simulación que reproduce un escenario de colonoscopia real. Se muestra en simulación que el método requiere de 2 imágenes en escala de grises con 100 puntos emparejados y una estimación de la potencia de las fuentes de luz entre 0.01 y 100 veces su valor real. Si la escena está bien condicionada, esto es, su profundidad es menor que 3b y la traslación entre las imágenes es similar a la profundidad, es posible estimar la escala absoluta con un error entre el 2% y el 4%. Por otro lado, el albedo se puede estimar hasta un factor de escala, con menos de un 4% de error siempre que traslación y profundidad sean mayores que 2b. Todo ello incluso en el caso de desconocer los valores de exposición de la cámara debido a la acción del AGC (control automático de ganancia). En caso de conocerse dichos valores, se evidencia que el error puede reducirse al 1% tanto en escala como en albedo.<br /

SLAM visual estéreo aplicado a endoscopias médicas

ORBSLAM es un software que, a partir de una secuencia en vídeo grabada por una cámara que se mueve por una escena genera un mapa de puntos tridimensional (no denso) y permite la localización de la cámara con respecto de la escena a tiempo real. ORBSLAM presenta la posibilidad de una entrada de par estéreo, es decir, dos cámaras. En el presente trabajo se realiza una evaluación de la viabilidad del módulo Stereo de ORB-SLAM2 aplicado a escenas de endoscopias y laparoscopias médicas. Además, aprovechando uno de los puntos fuertes del estéreo, como más adelante se detallará, se ha ampliado el módulo Stereo del programa ORBSLAM añadiendo la posibilidad de generar un mapa denso tridimensional de la escena en observación. Se ha hecho una valoración experimental de ORBSLAM sobre pares estéreo en endoscopias porcinas y una densificación de la anatomía porcina observable en las secuencias, alcanzando prestaciones a tiempo real

Evaluación de ORBSLAM en secuencias de endoscopia médica

Se presenta la evaluación de un sistema de Visual SLAM, el ORBSLAM, en escenas in vivo de endoscopia en animales. Un sistema de SLAM visual procesa la secuencia de imágenes que toma una cámara que se mueve por un entorno desconocido siguiendo una trayectoria también desconocida. A partir del procesamiento de la secuencia de imágenes el sistema proporciona, en tiempo real, tanto un mapa 3D de la escena como la posición de la camara respecto de este mapa. El ORBSLAM es un sistema diseñado para escenas de robótica móvil donde predominan los elementos rígidos. Se detalla la resintonía del sistema para adaptarlo al tratamiento de escenas que contienen elementos no rígidos. También se aborda la calibracióon del sistema. El codigo original del sistema se modifica para visualizar y recoger datos de forma detallada en los dos pasos que están limitando el funcionamiento del sistema en escenas de endoscopia: el tracking de la camara y la gestión de puntos del mapa. Posteriormente se recopilan datos estadísticos que denen el funcionamiento en 19 secuencias tomadas in-vivo durante operaciones de endoscopia en animales. Tras un estudio se detallan los condicionantes para un funcionamiento correcto y se proponen diversas líneas de trabajo futuro con las que continuar la investigación, en vistas de acabar logrando un sistema SLAM visual específico para secuencias médicas

Detección de cierre de bucles deformables en secuencias de endoscopia médica

Un software de SLAM Visual procesa una secuencia de imágenes tomada por una cámara en movimiento con trayectoria desconocida a través de un entorno también desconocido. El sistema proporciona un mapa de puntos 3D de la escena y la posición de la cámara respecto de este en tiempo real. En funcionamiento normal, el mapa y la posición de la cámara se calculan mediante un modelo de movimiento basado en escenas anteriores. Si se perdiese la posición relativa de cámara respecto al mapa, este cálculo no sería posible con el mismo algoritmo, iniciándose un proceso de relocalización con el que calcular la posición de la cámara sin datos de movimiento.ORB-SLAM2 está diseñado para funcionar en escenas de robótica móvil que se desarrollan en entornos rígidos, pero también ha sido evaluado con éxito en escenas deformables propias de la endoscopia médica. En el trabajo se desarrolla una evolución de ORB-SLAM2, con algoritmos que dotan al sistema de la capacidad de relocalizar la cámara en entornos no rígidos. Se describe la implementación que logra la relocalización en escenas deformables, incluyendo una evaluación de prestaciones en escenas in-vivo de endoscopia en animales. Se proporciona el código y se proponen líneas de trabajo futuro orientadas a obtener un sistema de SLAM Visual específico para escenas médicas.<br /

Adquisición de endoscopias en alta calidad

El trabajo se enmarca dentro del proyecto de investigación "DPI2017-91104-EXP: SLAM Visual Deformable para Endoscopia", que tiene como objetivo realizar mapas 3D de las cavidades intracorpóreas y localizar la cámara del endoscopio a partir del flujo de vídeo de un endoscopio estándar. Un primer paso de la investigación es la grabación de secuencias de vídeo correspondientes a endoscopias reales para validar los algoritmos desarrollados. Para maximizar el rendimiento de los algoritmos se van a realizar grabaciones de vídeo de alta calidad y se van a almacenar mediante compresión sin pérdidas.Además de registrar vídeo de alta calidad, es necesario anonimizar los vídeos para preservar la identidad de los pacientes que acceden a que las grabaciones de sus exploraciones sean empleadas en la investigación. Estos requisitos están lejos de los que ofrecen los sistemas de grabación comerciales.El objetivo del proyecto es el diseño y la implementación de este sistema grabador que llamaremos EndoStore. El alcance cubre el diseño y montaje de un equipo de adquisición y el desarrollo del software en C++ empleando las bibliotecas estándares de OpenCV para visión por computador y Tesseract para el reconocimiento de texto.Se ha construido un prototipo que se ha montado y probado tanto en los laboratorios de la EINA como en el Hospital Clínico Lozano Blesa (HCLB) de Zaragoza. La conexión del sistema de adquisición con el endoscopio permite la grabación con una mínima interferencia sobre el procedimiento médico que se esté llevando a cabo. A partir de los resultados se ha realizado el diseño definitivo del sistema de adquisición.<br /

Sistema de adquisición en alta calidad y calibración para endoscopia

Se han aplicado técnicas de SLAM visual a endoscopias médicas reales y secuencias no médicas grabadas con endoscopios. Previamente se han calibrado los parámetros del modelo de cámara Fish-Eye de Kannala & Brandt[1] para un endoscopio.[1] @ARTICLE{1642666, author={J. {Kannala} and S. S. {Brandt}}, journal={IEEE Transactions on Pattern Analysis and Machine Intelligence}, title={A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses}, year={2006}, volume={28}, number={8}, pages={1335-1340},}<br /